Ngày 11 tháng 11 nǎm 1924, Nguyễn Ái Quốc rời Liên Xô tới Quảng Châu, lấy tên là Lý Thụy, làm phiên dịch trong phái đoàn cố vấn của chính phủ Liên Xô bên cạnh Chính phủ Trung Hoa Dân quốc[25].

Thời gian này ông cũng gặp mặt một số nhà cách mạng lão thành người Việt đang sống và hoạt động lưu vong trên đất Trung Quốc, trong đó có Phan Bội Châu. Trong một báo cáo gửi đoàn chủ tịch Quốc tế Cộng sản đề ngày 18 tháng 12 năm 1924, ông viết về Phan Bội Châu:

"Ông ấy không hiểu chính trị và lại càng không hiểu việc tổ chức quần chúng,tôi đã giải thích cho ông ấy hiểu sự cần thiết của tổ chức và sự vô ích của những hành động không có cơ sở. Ông ấy đã đưa tôi một bản danh sách của 14 người Việt Nam đã cùng ông ta hoạt động bấy lâu."

Trong nhóm 14 người này có một số thành viên của Tâm Tâm xã – một tổ chức cấp tiến hoạt động từ 1923 với những thành viên như Hồ Tùng Mậu, Lê Hồng Sơn, Phạm Hồng Thái, Lê Hồng Phong, Lâm Đức Thụ,... Những thành viên đầu tiên của Tâm Tâm xã là Lê Hồng Sơn, Hồ Tùng Mậu, Nguyễn Giản Thanh, Đặng Xuân Hồng, Trương Quốc Huy, Lê Cầu, Nguyễn Công Viễn; đến đầu năm 1924 thì Lê Hồng Phong và Phạm Hồng Thái được kết nạp.

Nguyễn Ái Quốc vào năm 1923

Năm 1925, ông (lúc này mang tên Vương) lựa chọn một số phần tử tích cực của Tâm Tâm xã, huấn luyện thêm và trên cơ sở đó, lập ra Cộng sản đoàn, rồi tiếp tục dựa trên Cộng sản đoàn mà thành lập Việt Nam Thanh niên Cách mạng Đồng chí Hội (hay còn gọi là Hội Việt Nam cách mạng Thanh niên) vào tháng 6. Hội này phái người về nước vận động và đưa thanh niên sang Quảng Châu đào tạo. Cho tới 1927, hội mở được 3 khoá gần 10 lớp huấn luyện, đào tạo 75 hội viên, mỗi khóa chỉ kéo dài 2–3 tháng. Nguyễn Ái Quốc đứng lớp, Hồ Tùng Mậu và Lê Hồng Sơn phụ giảng. Việc làm quan trọng nhất của hội trong thời gian này là cử được người đi học tại Đại học Phương Đông (Liên Xô) và trường Quân chính Hoàng Phố của Quốc dân Đảng Trung Quốc. Nguyễn Hải Thần và Vũ Hồng Khanh cũng từng làm việc hoặc học tập ở trường Hoàng Phố. Trần Phú, Lê Hồng Phong, Bùi Công Trừng, Phùng Chí Kiên, Lê Thiết Hùng, Nguyễn Sơn,… là những người được đưa đi đào tạo tại một trong hai trung tâm trên. Phần lớn người khác, như Nguyễn Lương Bằng, sau đó về nước hoạt động. Chương trình học tập gồm:

• Học "nhân loại tiến hóa sử", nhưng chủ yếu học thời kì tư bản chủ nghĩa cho tới đế quốc chủ nghĩa; sau đó học lịch sử vận động giải phóng của Triều Tiên, Trung Quốc, Ấn Độ, lịch sử mất nước của Việt Nam.
• Chủ nghĩa Mác – Lenin, học có phê phán chủ nghĩa Tam dân và chủ nghĩa Gandhi.
• Phần sau là về tổ chức: lịch sử và tổ chức ba Quốc tế Cộng sản, các tổ chức phụ nữ, thanh niên quốc tế, quốc tế cứu tế đỏ, quốc tế nông dân.
• Phần cuối là về vận động quần và tổ chức quần chúng, bài tập là các buổi thực tập. Sau mỗi tuần có "báo cáo học vấn" tại các tiểu tổ, học viên tự kiểm tra, phê bình và tự phê bình lẫn nhau.

Ông cũng lập ra tờ Thanh niên làm cơ quan phát ngôn của hội tới tháng 2 năm 1930, tờ này ra được 208 số. Cuốn Đường Kách mệnh tập hợp các bài giảng của ông, được Hội Liên hiệp các dân tộc bị áp bức ở Á Đông xuất bản năm 1927. Ông cho rằng để cách mạng thành công, phải coi học trò, nhà buôn, điền chủ nhỏ đều là bầu bạn của cách mạng. Tư tưởng này của ông trong đầu thập niên 1930 đã vấp phải sự phê phán của một số người cộng sản Việt Nam khác. Ngoài ra, trong thập niên 1920, một trong những quan điểm của ông về cách mạng là: cách mạng giải phóng dân tộc ở thuộc địa có thể bùng nổ và giành thắng lợi trước cách mạng vô sản ở chính quốc.

Có bằng cớ là trong thời gian ở Quảng Châu, ông đã kết hôn với một hộ lý Trung Quốc tên là Tăng Tuyết Minh, đảng viên Đảng Cộng sản Trung Quốc (ngày 18 tháng 10 năm 1926) và sống với nhau cho đến khi ông rời Quảng Châu, vào khoảng tháng 4 năm 1927, từ đó không bao giờ còn gặp lại.[26] Nhưng ông cũng đã từng cho rằng ông chưa bao giờ lập gia đình và có vợ con.

Cùng năm 1925, ông tham gia thành lập Hội Liên hiệp các dân tộc bị áp bức ở Á Đông, do Liêu Trọng Khải, một cộng sự thân tín của Tôn Dật Tiên, làm hội trưởng và ông làm bí thư.

Tháng 5 năm 1927, chính quyền Trung Hoa Dân Quốc đặt những người cộng sản ra ngoài vòng pháp luật, ông rời Quảng Châu đi Hồng Kông, rồi sang Moskva. Tháng 11 năm 1927, ông được cử đi Pháp, rồi từ đó đi dự cuộc họp Đại hội đồng của Liên đoàn chống chiến tranh đế quốc từ ngày 9 tháng 12 đến ngày 12 tháng 12 năm 1927 tại Bruxelles, Bỉ. Sau đó, ông cũng qua Ý.